Why Far Looks Up: Probing Spatial Representation in Vision-Language Models
为何远处向上看:探究视觉-语言模型的空间表征
🧭 视觉-语言模型 · 空间表征分析
Seoul National University · The Ohio State University · NVIDIA
发现VLMs将垂直图片位置与距离混淆,提出SpatialTunnel基准暴露空间捷径偏见,并表明解耦空间轴可提升鲁棒性
📌 工作参考价值(4 点)
- 多模态推荐(如基于产品图像的空间关系推荐)需警惕模型依赖垂直位置作为距离的捷径,建议用对比对探测内部表征是否解缠。
- 构建具身Agent的视觉模块时,应使用合成基准(如SpatialTunnel)评估空间推理鲁棒性,确保在反直觉视角下仍准确。
- 电商视觉搜索中涉及空间关系查询(如“沙发左侧的台灯”)时,可借鉴表征分析方法验证模型是否真正理解3D空间。
- 模型选型时,相似基准得分可能掩盖内部偏见差异;可补充表征探针,优先选择空间轴分离度高的VLM。